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(57) Abstract 

The invention relates to a method and device using an 
optoelectronic sensor (10) in combination with an electronic 
unit (19), in accordance with French patent application no. 
96.09420. filed on 26 July 1996 and International patent 
application (PCT) PCT/FR97/01354 filed on 22 July 1997. 
arranged inside the motor vehicle. The sensor is adjusted 
in line with the head of the driver sitting in said motor 
vehicle at the same time as the inner rear-view mirror, 
which comprises a one-way mirror (9) behind which the 
sensor (10) is positioned. After detecting the presence of a 
driver seated in the motor vehicle they frame first the whole 
face and then the eyes of the driver in the video signal 
raster emitted by the sensor (10) aided by the electronic 
unit (19) and then determine the successive durations of 
blinking episodes, which are compared with a limit value 
situated between one duration typical of an awake person 
and another duration typical of a drowsy person. A signal 
(transmitted by an alarm unit 22) suitable for waking the 
driver is triggered when the duration of blinking exceeds the limit 
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(57) Abregl 

Le proc*d 4 <t le dispositif selon ^invention menent en oeuvre un ensemble ^f^fT^^ " ^SSS3S,!S2i 
selon la demande de brevet Irancais N« 96.09420 d6posee le 26 juillet 1996 et la demande de brevet mternational (P.C.T.) K^f 7 *'"* 
le 22 juillet 1997, d?* a I'inteneur du veTucule automobile, le capteur e^t orient* vers la it te du conducteur en placedan 
celui-ci en meme temps que lerftroviseur int&ieur qui comporte un miroir sans tain (9) demere lequel est disposd le capteur (10). ns 
realise*, apres detection de te presence d'un conducteur en place dans lc veliicule, le cadrage d'abord du vjsage enuer, puis des yeux, de 
™ i dl les tomes du signal video ddbitf par le capteur (10). grace a l'unitf flcctnxiique (19), et ensu.te la determination des durees 
succcssives des clignements des yeux, celles-ci etant comparees a un seuil compris entre une telle duree pour line personne ftcdUe et une 
te " rte pW uT p^onne soLoiente et un signal (emis par une alarme (22) apte a eveiller le conducteur €tant declench6 lorsque la 
duree de ses clignemcnts depasse ledtt scuil. „ — 
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PROCEDE ET DISPOSITIF POUR DETECTER ET PREVENIR L'ENDORMISSEMENT DU CONDUCTEUR D'UN 
VEHICULE AUTOMOBILE 

La presente invention a pour objet un procedd et un dispositif pour surveiller en 
continu P6tat de vigilance du conducteur d'un vehicule automobile, afin de detecter et 
prevenir une tendance eventuelle 4 Pendormissement de celui-ci. 

On sait qu'une proportion non negligeable, sinon importante, des accidents, sur 
5 route r6sultent de Pendormissement, total ou partiel (somnolence), du conducteur d'un 
vehicule automobile (auto particuliere, auto utilitaire, camionnette, camion), avec pour 
r&ultat de nombreux morts et blesses. 

On voit done Pinteret, humain et teonomique, a eviter Pendormissement d'un con- 
ducteur en provoquant une alarme, notanunent sonore, des que celui-ci tend k s'assoupir, 
10 afinde Peveiller. 

Pour detecter la tendance a Pendormissement d'un conducteur, on a propos6 sur un 
vehicule automobile 

- d'une part, de detecter la variation de l'actionnement du volant par un conducteur qui 
tend a s'endormir et 

15 - d'autre part, de detecter la variation des dSplacements verticaux des paupieres d'un 
conducteur qui tend i s'endormir. 

La presente invention met en oeuvre une detection du second type (surveillance des 
deplacements des paupieres) et elle est basee sur une constatation physiologique, a savoir 
la modification de la duree des clignements des yeux, ainsi qu'eventuellement des inter- 

20 valles de temps entre deux clignements successifs, done la cadence des clignements, 
lorsqu'une personne passe de P6tat 6veille a Petat de somnolence prec6dant 
Pendormissement de celui-ci : la duree des clignements d'ceil d'une personne est de Pordre 
de 100 a 200 ms (millisecondes) lorsqu'elle est eveillee et de Pordre de 500 k 800 ms 
lorsqu'elle somnole, tandis que Pintervalle de temps separant deux clignements successifs, 

25 qui est sensiblement constant k Petat eveille, varie dans une plage relativement large a 
Petat somnolent. C'est la variation de la duree des clignements qui est essentiellement mise 
en ceuvre dans le cadre de Pinvention. 

Le procede et le dispositif selon Pinvention decelent Paugmentation de la durfe des 
clignements des yeux du conducteur et d6clenchent une alarme, sonore ou autre, lorsque 

30 cette duree depasse un seuil determine, compris en particulier entre 200 et 500 ms, par 
exemple £gal a 350 ms, ce seuil etant eventuellement modifiable en fonction de la 
physiologie du conducteur. 



FEUILLE DE REMPLACEMENT (REGLE 26) 
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Dans la demande de brevet fran^ais N° 96.09420 deposee le 26 juillet 1996 et la de- 
mande de brevet international (P.C.T.) PCT/FR97/01354 deposee le 22 juillet 1997, en 
invoquant la priorite de ladite demande de brevet frangais, Finventeur de ces deux 
demandes etant egalement l'inventeur de la presente invention, on a decrit un proc&ie et un 
5 dispositif, fonctionnant en temps reel, pour le reperage et la localisation d'une zone en 
mouvement relatif dans une scene, ainsi que pour la determination de la vitesse et de la 
direction du deplacement. 

Parmi les applications envisagees de ce proced£ et ce dispositif on a decrit, dans 
lesdites demandes de brevet, la mise en ceuvre de ceux-ci pour l'observation et la 
10 surveillance d'une zone constitute par la tete d'un conducteur automobile, afin de detecter 
et prevenir l'endormissement de celui-ci. 

Selon cette application particuliere des precede et dispositif desdites demandes de 

brevet : 

- on produisait un signal video representatif, en temps reel, des images successives des 
15 yeux du conducteur ; 

- on traitait ce signal video pour, successivement et en continu, 

♦ detecter, dans l'image des yeux de ce conducteur, les deplacements verticaux des 
paupieres representatifs du clignement de celles-ci ; 

• determiner la cadence de ces deplacements verticaux et 

20 • reperer les cadences inferieures a un certain seuil, qui correspond sensiblement a la 
cadence de clignement a l'etat eveille du conducteur ; et 

- on declenchait une alarme en cas de franchissement de ce seuil vers le bas par lesdites 
cadences, afin d'eveiller le conducteur. 

La presente invention a pour objet des perfectionnements aux proc&ie et dispositif 
25 des demandes de brevet precitees, en ce qui conceme leur application a la surveillance 
d'un conducteur automobile, afin de detecter sa tendance eventuelle a l'endormissement. 

Ainsi Particle de Hiroshi Ueno et al. intitule « Development of drowsiness detec- 
tion system », publie dans la revue de 1'Institute of Electrical and Electronics Engineers 
(IEEE) du 31 aout 1994 pages 15-20, analyse les differentes techniques de detection de 
30 Tassoupissement du conducteur d'un vehicule automobile au volant. En particulier on 
mentionne la mise en oeuvre d'une camera video assoctee a un calculateur de traitement de 
Pimage video, au moyen d'un logiciel realisant, d'une part, la detection du visage du con- 
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ducteur, notamment d'un rectangle englobant un oeil, et, d'autre part, du rapport 
des durees des yeux ouverts et des yeux fermes pour determiner des criteres 
d'endormissement. 

La demande de brevet allemand publiee DE 197 15519 et la demande de 
5 brevet fran^ais publiee correspondante n° 2.747.346 ddcrivent un appareil et un 
procede d'estimation du niveau de somnolence du conducteur d'un vehicule mettant 
en oeuvre une camera video disposee aux pieds du conducteur du v6hicule et un 
calculateur de traitement de T image fournie par la camera, avec un logiciel qui 
detecte les clignements des yeux par determination du temps ecoule entre le d6but 
10 et la fin des clignements. En particulier, une unite 10 du calculateur realise 

• la memorisation de Timage video et le traitement de celle-ci afin de determiner 
une region comprenant les yeux du conducteur, 

• la detection de Tintervalle de temps entre la fermeture des paupieres du 
conducteur et Touverture complete de celles-ci; et 

15 • un traitement dans une memoire 11 et une unite de calcul 22, en combinaison 
avec Tunite 10, afin de calculer un rapport d'apparition de clignements lents. 

La demande de brevet internationale publite WO 97/01246 a pour objet 
un systeme de securite comportant une camera video disposee dans le retroviseur 
interieur d'un vehicule automobile et un ecran video deporte pour Tanalyse de ce 

20 qui se passe dans le vehicule et autour de celui-ci, ainsi que de ce qui s'est passe 
grace a renregistrement du signal video de sortie de la camera. II s'agit en fait 
d'une camera cachee (dans le retroviseur), afin d'echapper aux regards des intrus, 
et qui observe une aire etendue couvrant Tinterieur et l'environnement du vehicule, 
Tenregistrement permettant de reperer plus tard ce qui s'est passe dans cette aire 

25 (page 6, lignes 13 a 19), et non pas d'un capteur dont Tangle de vision est 
sensiblement limite au visage du conducteur afin de detecter son endormissement 
eventuel et provoquer son eveil. 

Ces documents anterieurs mettent en oeuvre une veritable camera video et 
un calculateur externe, la detection du clignement des yeux dans ledit article et 

30 lesdites demandes frangaise et allemande requerant une unite complexe de 
traitement, tandis que ladite demande internationale ne rdsout pas le probleme de la 
detection de Tendormissement, le conducteur s'il sommeille n'etant capable de 
regarder ni Tecran video, ni Tenregistrement des images video. On voit done que 
ce document ne concerne pas le meme domaine technique que les deux documents 

35 precedents. 
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Par rapport a ces documents anterieurs, la presente invention realise une meilleure 
approche de la prise de mesure du clignement des yeux du conducteur ; en effet 

- elle permet de mettre en oeuvre dans le retroviseur du vehicule un simple capteur 
(eventuellement le capteur d'une camera video miniature), notamment un capteur MOS, 

5 qui n'est pas forc^ment au format video classique ; 

- elle realise un mouvemeht de l'axe optique du capteur lie au deplacement du 
retroviseur par le conducteur afin de dinger ledit axe vers le visage du conducteur ; 

- elle permet une perception visuelle integree, un circuit integre assurant une detection 
immediate des mouvements des paupieres ; 

10 - elle met en oeuvre un processeur tres simple pour le traitement des informations 
foumies par le capteur ; 

- elle permet Immigration possible dans une puce electronique (chip) du capteur, de 
l'electronique associee a celui-ci et du calculateur, le tout dispose dans le retroviseur ; 

- elle donne la possibility d'associer une telle puce disposee a l'interieur du retroviseur 
15 au processeur prevu dans le tableau de bord, le retroviseur constituant ainsi un appareil 

intelligent de detection de 1'endormissement, d'un cout raisonnable du fait qu'il comporte, 
par rapport a un retroviseur int&ieur classique, simplement une puce et un dispositif 
mecanique d'orientation de cette puce supplemental. 

Dans ces conditions, l'invention a tout d'abord pour objet un proc&le pour 
20 surveiller en continu l'etat de vigilance du conducteur d'un vehicule automobile, afin de 
detecter et prevenir une tendance eventuelle a l'endormissement de celui-ci, 

qui consiste 

- a produire un signal video representatif; en temps reel, des images successives d'au 
moins le visage du conducteur ; 

25 - a traiter ce signal, successivement et en continu, pour 

• detecter, dans ce signal, la portion correspondant effectivement a l'image de la tete 
du conducteur, 

• determiner la valeur d'un parametre relatif au clignement des paupieres, qui se 
modifie notablement lors du passage de F&at eveille a l'etat somnolent du 

30 conducteur de part et d'autre d'un seuil, et 

• reperer, en temps r6el, le franchissement, par la valeur de ce param&re, de ce seuil 
representatif du passage de l'etat eveille a l'etat somnolent du conducteur ; et 
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- a declencher, en reponse au franchissement de ce seuil, une alarme apte a reveiller le 
conducteur ; 

et qui est caractSrise en ce que 

- d'une part, le signal video est produit en utilisant un capteur optoelectronique solidaire 
5 d'un retroviseur du vehicule automobile, dimensionne et dispose pour recevoir 

essentiellement Pimage du visage du conducteur en place sur son siege et ayant son axe 
optique de reception des rayons lumineux dirige vers la tete du conducteur lorsque le 
retroviseur est correctement orient^ ; et 

- d'autre part, le traitement dudit signal video consiste, apres avoir detecte la presence du 
10 conducteur a sa place, a, successivement et en continu , 

• detecter, a partir d'une analyse des pixels en deplacement entre deux trames 
successives de meme nature dudit signal video, les deplacements horizontaux du 
conducteur, afin de cadrer le visage de celui-ci dans les trames correspondantes 
successives du signal video, 

15 • detecter, a partir d'une analyse des pixels en deplacement entre deux trames 
successives de meme nature dudit signal video, les deplacements verticaux dans le 
visage, ainsi cadre, du conducteur, afin de cadrer les yeux de celui-ci, 

• determiner, a partir d'une analyse des pixels en deplacement entre deux trames 
successives de meme nature dudit signal video, les durees successives des 

20 clignements des yeux, ainsi cadres, de celui-ci, ces durees constituant le dit 

parametre, 

• comparer ces durees successives des clignements, ainsi determinees, a un seuil 
representatif du passage de l'&at eveilte & l'etat somnolent du conducteur, et 

• declencher, lorsque les durees de clignement d^passent vers le haut le dit seuil, une 
25 alarme apte reveiller le conducteur. 

Avantageusement ledit capteur est place dans le boTtier du retroviseur derriere la 
glace de celui-ci qui est constitute par un miroir sans tain, Paxe optique de reception dudit 
capteur etant symetrique a un axe oriente dans le plan vertical median dudit vehicule, par 
rapport a un axe orthogonal au dit miroir sans tain. 
30 De preference, on detecte la pr&ence du conducteur k sa place en determinant le 

nombre de pixels correspondants dans les trames successives de meme nature du signal 
video pour lesquels un deplacement significatif est detecte et en comparant ce nombre au 
nombre total de pixels par trame du signal video, afin de determiner si le rapport entre le 
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nombre de pixels representant un deplacement et le nombre total de pixels par trame 
depasse un seuil representatif du passage de l'absence de conducteur a sa place a la 
presence d'un conducteur a sa place. 

Le precede peut, dans des modes de realisation preferes, comprendre en outre une 
5 ou plusieurs des caracteristiques suivantes : 

- entre les phases de detection des deplacements horizontaux, afin de cadrer le visage du 
conducteur, et de d&ection des deplacements verticaux, afin de cadrer les yeux de 
celui-ci, on prevoit une phase de cadrage large des yeux en se limitant a une portion du 
visage cadre englobant les yeux et leur environnement immediat, par application du 

10 rapport anthropometrique entre ladite portion et le visage entier d'une personne ; 

- simultanement a la phase de determination des durees de clignement des yeux, on 
prevoit une phase de determination des intervalles de temps separant deux clignements 
successifs de ceux-ci et on decienche une alarme renforcee des que ces intervalles de 
-temps presentent une irregularite qui depasse un seuil determine ; 

15 - on reactualise en continu les donnees concernant au moins un des parametres suivants : 
deplacements horizontaux, deplacements verticaux, durees des clignements des yeux, 
intervalles entre clignements successifs, afin de perfectionner les approximations des 
valeurs normales de ces parametres pour le conducteur effectivement present et a l'etat 
eveille ; 

20 - les differentes phases successives du procede sont realisees au moyen de programmes 
informatiques successifs portant sur le traitement des valeurs successives des pixels 
coirespondants des trames de meme nature du signal vid£o obtenu a partir dudit 
capteur. 

La presente invention a egalement pour objet un dispositif pour surveiller en 
25 continu l'etat de vigilance du conducteur d'un vehicule automobile, afin de detecter et 
prevenir une tendance eventuelle k Tendormissement de celui-ci, qui met en ceuvre le 
procede susvise et qui est caracterise en ce qu'il comprend, en combinaison : 
a) un capteur optoelectronique, qui, en combinaison avec une &ectronique associee, 
elabore, en reponse a la reception de rayons lumineux, un signal viddo a trames de 
30 meme nature, ou correspondantes, successives, ledit capteur 6tant solidaire d'un 
rftroviseur du vehicule automobile et dimensionne et dispose pour recevoir 
essentiellement l'image du visage du conducteur en place sur son siege et ayant son axe 
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optique de reception des rayons lumineux dirige vers la tete du conducteur lorsque le 
retroviseur est correctement oriente; et 
b) au moins un circuit integre comportant 

- des moyens pour detecter ia presence du conducteur a sa place dans le vehicule, et pour 
5 elaborer un signal de presence ; 

- des moyens, actives par ce signal de presence, pour detecter, a partir d'une analyse des 
pixels en ddplacement entre deux trames successives de meme nature dudit signal 
video, les deplacements horizontaux de dit conducteur, afin de cadrer le visage de 
celui-ci dans les trames successives de meme nature dudit signal video, et pour ^laborer 

1 0 un signal de fin de cadrage de visage ; 

- des moyens, actives par ledit signal de fin de cadrage du visage, pour detecter, a partir 
d'une analyse des pixels en deplacement entre deux trames successives de meme nature 
de la portion des trames successives de meme nature dudit signal video correspondant 
au cadrage du visage, les deplacements verticaux dans le visage, ainsi cadre, du con- 

15 ducteur, afin de cadrer les yeux de celui-ci dans ladite portion des trames de ce signal, 
et pour elaborer un signal de fin de cadrage des yeux du conducteur ; 

- des moyens, actives par ledit signal de fin de cadrage des yeux, pour determiner, a 
partir d'une analyse des pixels en deplacement entre deux trames successives de meme 
nature de la portion des trames successives de meme nature dudit signal video corres- 

20 pondant au cadrage des yeux, les durees successives des clignements des yeux du con- 
ducteur ; 

- des moyens pour comparer ces durees successives des clignements, ainsi determinees, 
a un seuil repr&entatif du passage de l'etat eveille i Fdtat somnolent du conducteur ; et 

- des moyens pour declencher, lorsque les durees des clignements d^passent ledit seuil, 
25 une alarme apte a reveiller le conducteur, 

Avantageusement, dans ledit dispositif, ledit capteur est place dans le boitier du 
retroviseur derriere le miroir de celui-ci, qui est un miroir sans tain, ledit capteur etant 
porte par une premiere extremite d'une premiere tige traversant, a travers une rotule, un 
etrier porte par le boitier du retroviseur, a Pinterieur de celui-ci, la seconde extremity de 
30 cette tige etant articulfe librement, au moyen d'un joint, & la premiere extremite d'une 
seconde tige traversant, 4 travers une rotule, le boitier du r&roviseur, tandis que la seconde 
extremite de ladite seconde tige est fix6e a la carrosserie du vihicule au dessus du pare- 
brise, de maniere que l'axe optique de reception du dit capteur soit symetrique i un axe 
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oriente dans le plan vertical median dudit vehicule, par rapport a un axe orthogonal au dit 
miroir sans tain. 

De preference, lesdits moyens pour detecter la presence du conducteur a sa place et 
pour elaborer un signal de presence sont constitues par des moyens pour determiner le 

5 nombre de pixels dans les trames successives de meme nature dudit signal video pour 
lesquels un deplacement significatif est d&ecte, des moyens pour comparer ledit nombre 
au nombre total de pixels par trame du signal video, afin de determiner si le rapport entre le 
nombre de pixels correspondant a un deplacement et le nombre total de pixels par trame 
depasse un seuil representatif du passage de Fetat d'absence de conducteur a sa place a 

1 0 F &at de presence d'un conducteur a sa place. 

Le dispositif peut, dans des modes de realisation preferes, comprendre en outre un 
ou plusieurs des moyens suivants, a savoir : 

- des moyens, actives par ledit signal de fin de cadrage du visage, pour selectionner, dans 
ladite portion des trames successives dudit signal vidfo correspondant au cadrage du 

15 visage, une portion reduite correspondant a un cadrage larfce, ou grassier, des yeux du 
conducteur englobant les yeux et leur environnement immediat par application du 
rapport anthropometrique entre ledit cadrage large et le visage entier d'une personne et 
des moyens pour laborer un signal de fin de cadrage large des yeux, ce signal activant 
lesdits moyens pour detecter les deplacements verticaux dans le visage du conducteur ; 

20 - des moyens, fonctionnant en parallele avec lesdits moyens pour determiner les durees 
successives des clignements des yeux et done actives par ledit signal de fin de cadrage 
des yeux, pour determiner les intervalles de temps separant deux clignements 
successifs et pour declencher une alarme renforcee d&s que ces intervalles de temps 
presentent une irregularite qui depasse un seuil determine ; 

25 - des moyens pour reactualiser en continu les donnees concernant au moins un des para- 
metres suivants : deplacements horizontaux, deplacements verticaux, durees des cligne- 
ments des yeux, intervalles entre clignements successifs, afin de perfectionner les 
approximations des valeurs normales du parametre implique pour le conducteur 
effectivement present et & Fftat eveille. 

30 Avantageusement Fensemble capteur - unit6 Slectronique de traitement est realise 

comme decrit et illustre dans les deux demandes de brevet susmentionnees ayant le meme 
inventeur que la presente. 
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^invention a egalement pour objet, a titre de produit industriel nouveau, un retro- 
viseur de vehicule automobile, caracttose en ce que son miroir est constitue par une glace 
sans tain et en ce qu'il comporte, derriere cette glace, un capteur optoelectronique qui 
coopere avec une unite electronique telle que decrite dans la demande de brevet fran$ais 
5 N° 96.09420 deposee le 26 juillet 1996 et la demande de brevet international (P.C.T.) 
PCT/FR97/01354 deposee le 22 juillet 1997, cette unite taut egalement disposee k 
l'interieur du retroviseur et etant apte & declencher un dispositif d'alarme des que ladite 
unite determine que les mouvements verticaux des paupieres d'une personne regardant la 
face avant de ladite glace correspondent a une duree des clignements des yeux qui depasse 
10 un seuil predetermine inclus dans I'intervalle temporel compris entre la duree des 
clignements d'une personne eveillee et celle d'une personne qui somnole. 

De preference ledit retroviseur porte au moins une diode electroluminescente au 
moins dans 1'infra-rouge qui est activee au moins lorsque la iuminosite ambiante devient 
insuffisante pour eclairer le visage du conducteur, ledit capteur optoelectronique etant sen- 
1 5 sible, entre autres, aux radiations infra-rouges eraises par ladite diode. 

Avantageusement, dans le dispositif ainsi que le retroviseur selon Invention, le 
capteur, ladite electronique associee et ledit circuit integre sont constitutes par une puce 
electronique (chip) disposee a l'interieur du boitier du retroviseur. 

On va decrire maintenant un mode de realisation prefere d'un dispositif selon 
20 Tinvention, mettant en ceuvre le procede selon Tinvention, ainsi que certaines variantes de 
celui-ci, avec reference aux dessins annexes, sur lesquels : 

Les figures 1 et 2 sont des vues, respectivement de cote et par-dessus, illustrant 
sctematiquement la tete d'un conducteur de vehicule automobile et ses axes de vision vers 
Favant et vers Tarriere. 

25 La figure 3 illustre schematiquement la disposition classique du miroir d'un retro- 

viseur interieur dans un vehicule automobile et les differents axes de vision du conducteur, 
cette figure correspondant a I'etat de la technique. 

Les figures 4 et 5 representent respectivement 1'ensemble et les articulations d'un 
retroviseur avec le capteur opto61ectronique et son electronique associte dans le cadre de 

30 Tinvention. 

La figure 6 illustre le champ du capteur optoelectronique prevu dans le retroviseur 
des figures 4 et 5. 
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Les figures 7 et 8 representent la maniere de cadrer le visage du conducteur en 

place. 

Les figures 9 et 10 representent la maniere de cadrer les yeux du conducteur en 

place. 

5 Les figures 1 1 et 12 sont relatives a la mesure de la duree des clignements des yeux 

du conducteur et des intervalles temporels separent deux clignements successifs. 

La figure 13 represente rordinogramme des phases successives de fonctionnement. 

La figure 14 illustre les avantages de la mise en oeuvre, comme capteur, d'un 
capteur de type MOS. 

10 La figure 15, enftn, est une variante de la figure 9, la zone d'observation privilegiee 

englobant le nez, en plus des yeux. 

En se referant tout d'abord aux figures 1 a 6, on va commencer la description 
detaillee du mode de realisation prtfere de 1'invention par celle du dispositif optique et 
mecanique avec le capteur optoelectronique (micro-camera video ou capteur MOS avec 

15 lentille incorporee) et son ensemble electronique associe, constitue essentiellement par une 
ou plusieurs puces, qui transforme l'image captee par le capteur en un signal video qui est 
traite afin de detecter une tendance a rendormissement du conducteur en place, observe 
par ledit capteur. 

En effet Tinvention utilise essentiellement la variation de la duree des clignements 
20 des yeux d'une personne lors du passage de Tetat eveille a l'etat somnolent ou assoupi de 
celle-ci : une personne eveiltee cligne, a intervalles relativement reguliers, des paupieres, et 
done des cils, en 100 a 200 ms environ, tandis que la durte des clignements de cette 
personne a l'etat somnolent passe a 500 a 800 ms environ, les intervalles entre clignements 
augmentant et etant variables. 
25 Dans le signal video en provenance du capteur optoelectronique k 50 ou 60 trames 

correspondantes (de meme nature) par seconde, on realise une detection toutes les 20 ms 
ou 16,66 ms respect ivement, ce qui permet de distinguer facilement des durees de 100 a 
200 ms ou de 500 a 800 ms (5 k 10 trames pour l'&at eveille ou au contraire 25 a 40 trames 
pour Pftat somnolent dans le cas de 50 trames de meme nature par seconde) et done de 
30 distinguer l'etat eveille de Tetat somnolent ou assoupi d'une personne. 

Pour une utilisation d'une telle distinction dans le cas du conducteur d'un v^hicule 
automobile, il est desirable de visualiser au mieux la face du conducteur, c*est-a-dire de di- 
nger l'axe optique d'entrde ou reception dudit capteur vers le visage de celui-ci. Le moyen 
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prevu dans le mode de realisation prefere de Pinvention consiste a profiter du fait qu'un 
conducteur dirige le retroviseur de son vehicule vers son visage de maniere qu'il ait une 
vue vers Tarriere du vehicule par reflexion sur le miroir du retroviseur. 

On rappelle, avec reference aux figures 1 a 3, le fonctionnement des retroviseurs 
5 classiques loges a Tintirieur d'un vehicule en position centrale, en etant fixes, avec 
possibilite d'ajustement de Torientation de leur miroir, sur une portion de la carrosserie a 
Tinterieur du vehicule. 

Les figures schematiques 1 et 2 montrent, vue de cot6 et de dessus respectivement, 
la tete T d'un conducteur qui peut observer la rue ou route sur laquelle se trouve son 
10 vehicule, d'une part, devant lui (fleche 1) et, d'autre part, derriere lui (fleches 2a et 2b) 
grace au miroir 3 du retroviseur convenablement oriente, Lesdites fleches 1, 2a, 2b 
represented le parcours des rayons lumineux, 2b correspondant au rayon reflechi sur le 
miroir 3. 

En considerant maintenant la figure schematique 3, qui represente le miroir 3 du 

15 retroviseur, miroir fixe par un bras 4 sur une portion 5 de la carrosserie a Tinterieur du 
vehicule, avec possibilite d'orientation, on retrouve les axes de visee ou fltehes 1, 2a, 2b 
des figures 1 et 2. On peut noter que les axes ou fleches 1 et 2b sont paralleles et sont 
diriges suivant la direction de la rue ou de la route. 

Sur cette figure 3, on a egalement represente, mais en traits interrompus, Taxe 

20 optique 6 perpendiculaire a la face 3a du miroir 3 d'un retroviseur interieur qui divise 
Tangle forme par les directions 2a et 2b en deux moities egales (angles a et b egaux) 
d'apres les lois de la reflexion, et Taxe 7 perpendiculaire a Taxe 2b et done paraltele a la 
portion de support 5, Tangle c entre les directions 7 et 3a etant egal aux angles b et a. 

Ces principes de fonctionnement des retroviseurs interieurs etant rappeles, on va 

25 maintenant avec reference aux figures 4 et 5, exposer le montage mecanique permettant de 
dinger efFectivement Taxe optique d'entree du capteur optoflectronique vers le visage du 
conducteur en place, en profitant du fait que le miroir 3 d'un retroviseur est oriente par le 
conducteur en place, lorsque cela n'est pas deja le cas, pour que Taxe 2a de visee par le 
conducteur soh dirige vers la tete T de celui-ci. En effet, si Taxe optique d'entree du 

30 capteur est efFectivement dirige vers la face de conducteur, le signal video produit par 
celui-ci contiendra les informations necessaires pour determiner la duree des clignements 
des yeux de celui-ci. 
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Tout d'abord dans Ie cadre du mode de realisation prefere de Pinvention, le 
retroviseur 8 comprend, contrairement au retroviseurs classiques, une glace sans tain 9 
(figure 4) dont la face 9a dirigee vers le conducteur joue le meme role que la face 3a du 
miroir 3 d'un retroviseur classique (figure 3), mais qui permet a un capteur 10 (constitue 
5 par une micro-camera electronique ou un capteur MOS a lentille incorporee), port6 par un 
support 1 1 (toumant avec le miroir sans tain 9), de recevoir au moins l'image du visage du 
conducteur en place lorsque le miroir sans tain 9 (avec le retroviseur 8) est convenablement 
oriente par le conducteur pour percevoir la rue ou la route derrtere lui ou est deja ainsi 
oriente (comme c'est le cas pour le miroir classique 3 de la figure 3). 

10 L'articulation mecanique type Cardan, illustree sur les figures 4 et 5 (cette derniere 

figure etant une vue plus detaillee d'une portion de la figure 4), permet l'orientation auto- 
matique correcte du support 11, avec Ie capteur 10, par le conducteur lorsqu'il r£gle son 
retroviseur ou lorsque celui-ci est deja regie, et done de la face receptrice 10a du capteur 
10 pour qu'elle revive l'image du visage du conducteur en place, son axe optique d'entree 

15 10ft etant dirige vers la tete du conducteur en place du fait de Tangle entre le miroir 9 et le 
support 1 1 du capteur 10. 

A cet efFet Particulation pour le support 1 1 comprend deux tiges 12 et 13 articulees 
librement entre elles par une rotule 14a (figure 4) ou un manchon 14ft (figure 5.). La tige 
12 est fixee a une portion 5 de la carrosserie par une de ses extremites et traverse le boitier 

20 du retroviseur 8 grace a la rotule 15 (constituee par une bille et deux calottes sensiblement 
hemispheriques) avant de penetrer par son autre extremite dans le manchon 146 ou etre 
fixee a la rotule 14a, tandis que la tige 13 porte rigidement, a une extremity le support 1 1 
du capteur 10 et traverse Petrier 16 du retroviseur 8 grace a une rotule creuse 17 (a bille 
traversee par un canal dans lequel est engagee la tige 13 et toumant dans deux calottes 

25 sensiblement hemispheriques portees par Petrier 16) avant de rejoindre par son autre 
extremite la rotule 14a ou le manchon 146. 

Une telle articulation, qui maintient en permanence un angle approprie entre le 
miroir 9 et le support 11, permet a la fois l'orientation habituelle du retroviseur interieur 
par le conducteur et Porientation du support 11 du capteur 10 pour que la face 10a de ce 

30 capteur re?oive Pimage d'au moins Ie visage du conducteur en place lorsque le retroviseur 
est convenablement oriente. 

Le capteur optoelectronique 10 debite par un conducteur 18 dans une unite 
electronique d'analyse 19 (avantageusement constituee par un boitier a puce ou puces log£ 
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a l'interieur du retroviseur 8) le signal video qu'il elabore a partir de 1'image qu'il re$oit 
sursaface 10a. 

On peut prevoir des diodes electroluminescentes 20 pour emettre, en direction du 
conducteur en place, lorsque le retroviseur est correctement oriente, un rayonnement 
5 infrarouge apte a eclairer au moins le visage de conducteur en place, lorsque la lumiere 
d'ambiance (y compris celle du tableau de bord) est insuffisante pour le fonctionnement 
correct du capteur 10, qui dans ce cas doit etre sensible au rayonnement infrarouge, et de 
son unite electronique 19 ; Pexcitation, eventuellement progressive, de ces diodes est, par 
exemple, controlee par l'unite electronique 19 grace a une cellule photoelectrique (non 
10 representee) ou en reponse a des signaux de pixels (dans le signal video) d'intensite 
insuffisante (comme represente schematiquement par le conducteur 21). 

L'alarme activee, en cas d'endormissement du conducteur, par l'unite electronique 
19 est illustrte schematiquement en 22 sur le figure 4, sur laquelle on n'a pas illustre les 
alimentations du capteur 10, de l'unite electronique 19 et des diodes 20, pour siraplifier 
15 cette figure. 

L'unite 19 pourrait, en variante, etre disposee hors du boitier du retroviseur. 
On va maintenant exposer le traitement, dans l'unite electronique d'analyse 19, du 
signal video issu du capteur optoelectronique 10 (a micro-camera electronique ou capteur 
MOS avec lentille incorporee suivie d'une unite electronique), ce signal video comportant 

20 une succession de trames correspondantes (de meme nature) a la cadence de 50 ou 60 telles 
trames par seconde (soit les trames paires ou bien impaires dans le cas d'un signal a deux 
trames entrelacees par image, soit les trames uniques dans le cas d'un signal a une seule 
trame par image) ; ce traitement a pour objet de realiser la surveillance de la vigilance du 
conducteur en place en determinant, en temps reel et en continu, la dur6e des clignements 

25 de ses yeux et en declenchant, en cas de tendance du conducteur a l'endormissement 
(rev^lee par la variation de cette duree), un signal d'alarme apte a eveiller celui-ci. 

Le precede et le dispositif, selon la presente invention mettant en oeuvre, pour 
reperer et localiser une zone en mouvement (k savoir successivement le conducteur, son 
visage et ses yeux, en particulier ses paupteres) et determiner la direction et eventuellement 

30 la vitesse de ce mouvement, le precede et le dispositif selon les demandes de brevet sus- 
visees, dont les descriptions sont incorporees dans la presente description detaill£e par 
reference, it est utile de resumer le processus d£crit dans ces demandes de brevet. 
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Dans ces demandes, le signal video (produit par une camera video ou autre 
capteur), qui comprend une succession de trames de meme nature (constitutes par les 
trames correspondantes, soit paires, soit impaires, dans le cas d'un systeme video a deux 
trames entrelacees par image, soit les trames successives dans le cas d'un systeme video a 
5 trame unique par image), est traite pour successivement 

- deduire, des variations de la valeur ou intensite de chaque pixel entre une trame et la 
trame correspondante ant&ieure, 

• d'une part, un signal binaire, note DP, dont les deux valeurs possibles sont 
representatives, Tune, d'une variation significative de la valeur du pixel et, Pautre, 

10 d'une non-variation significative de cette valeur, valeurs notees par exemple «1» et 

«0» respectivement, et 

• d'autre part, un signal numerique, note CO, a nombre reduit de valeurs possibles, ce 
signal etant representatif de la grandeur de cette variation de la valeur du pixel ; 

- repartir suivant une matrice, par roulement, des valeurs de ces deux signaux DP et CO 
1 5 pour une meme trame qui defile a travers la matrice ; et 

- deduire, de cette repartition matricielle, le dtplacement recherche et ses parametres 
(localisation, direction et vitesse). 

Cette derniere operation de detection du deplacement met en preference en oeuvre, 
selon ces demandes de brevet precitees, 
20 - la formation d'histogrammes, suivant deux axes, par exemple Ox et Oy orthogonaux, 
d'au moins les signaux DP et CO, repartis matriciellement dans Poperation precedente, 
et 

- " le reperage, dans chacun des histogrammes relatifs a DP et CO, d'un domaine de 

variation significative de CO avec simultanement DP = «1». 
25 La presente invention, realise successivement, par mise en ceuvre du procede et 

dispositif selon les demandes de brevet precitees, dont on vient de r&umer le processus, 

- dans une phase preliminaire, la detection de la presence d'un conducteur en place ; 

- dans une premiere phase, le cadrage du visage du conducteur dans les trames de meme 
nature, ou correspondantes, successives du signal video ; 

30 - dans une deuxieme phase, le cadrage des yeux du conducteur a 1'interieur du cadrage 
du visage ; 
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- dans une troisieme phase, la determination des durees successives des clignements des 
yeux du conducteur, et eventuellement la determination des intervalles de temps 
separant deux clignements successifs ; 

- dans une quatrieme phase, la comparaison des durees des clignements a un certain 
5 seuil, avec generation d'un signal d'alarme apte a eveiller le conducteur des que cette 

comparaison rdvele le depassement vers le haut de ce seuil par cette duree, et 
eventuellement la comparaison des variations temporelle des intervalles de temps entre 
deux clignements successifs a un autre seuil, avec generation d'un signal d'alarme 
renforce des que cette comparaison revele le depassement vers le haut de ce dernier 
10 seuil. 

On va decrire maintenant plus en detail la realisation de chacune de ces cinq phases 
par le procede et le dispositif selon 1'invention. 

La phase preliminaire, qui detecte la presence d'un conducteur en place et amorce 
la premiere phase de cadrage du visage, est declenchee par un contacteur actionne 
15 manuellement ou autrement, notamment par mise en oeuvre des procede et dispositif des 
demandes de brevet precitees ; elle commence effectivement avec le reglage du retroviseur 
pour orienter la face avant 9a du miroir sans tain 9 de celui-ci (figure 4) vers le conducteur 
afin qu'il aper^oive dans ce miroir la rue ou route derriere lui, au cas il y a besoin d'un tel 
reglage. 

20 La figure 6 illustre, entre les directions 23a et 236, le champ 23 du capteur 10, la 

tete Tdu conducteur devant se trouver, du fait du reglage du retroviseur interieur 8, tel que 
decrit avec reference aux figures 4 et 5, k Tinterieur et dans la zone centrale de ce champ 
conique 23. Ce champ peut etre relativement &roit, etant donne que les d6placements de la 
tete T du conducteur au cours de la conduite sont limites (sauf rares exceptions) ; la 

25 limitation du champ ameliore la sensibilite du dispositif etant donne que l'image du visage 
du conducteur, qui est re9ue par la face 10a du capteur correctement oriente en meme 
temps que le miroir 9, occupe alors une place relativement importante dans les trames du 
signal video ; elle est done representee par un nombre de pixels qui est une fraction notable 
du nombre total des pixels par trame. 

30 Sur la figure 6 on retrouve les directions ou rayons lumineux 1, 2a et 2b de la figure 

3. 

La mise en place du conducteur est avantageusement detectee par les deplacements 
de sa tete, en particulier de son visage, pour venir en position de conduite, par mise en 
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oeuvre du procede et du dispositif selon les deux demandes de brevet precipes qui 
permettent de detecter les deplacements, comme rappele brievement ci-dessus. 

En fait Parrivee du conducteur a sa place et le deplacement de sa tete Ten resultant 
sont reveles par le nombre important de pixels du signal video pour lesquels le signal 
5 binaire DP a la valeur «1» correspondant a une variation significative de la valeur du pixel 
entre deux trames correspondantes successives et le signal numerique CO a une valeur 
relativement elevee. 

Le rapport du nombre de tels pixels (avec DP et CO ayant les valeurs definies ci- 
dessus) au nombre total de pixels d'une trame, lors de la mise en place du conducteur, 

10 depend de la dimension du champ de vision du capteur de part et d'autre de la tete T en 
place pour la conduite. En cas de champ de vision etroit (angle reduit entre 23a et 236 
figure 6), on peut considerer par exemple, que si plus de la moitte des pixels «en 
deplacement» d'une trame ont un DP et un CO avec les valeurs sus-avancees, il y a mise 
en place du conducteur. On peut alors considerer un seuil de 50 % entre le nombre de 

15 pixels «en deplacement» et le nombre total de pixels d'une trame et dans ce cas la phase 
preliminaire se termine par la production, lorsque ce seuil est dfyasse vers le haut, d'un 
drapeau «1» de presence qui amorce la suite du traitement du signal video, en commen$ant 
par la premiere phase. Bien entendu le seuil retenu pour le declenchement du drapeau «1» 
peut etre different de 50 %, en tenant compte du champ de vision du capteur 10. 

20 En variante, le drapeau «1» de presence amor?ant la premiere phase peut etre 

produit par une commande externe a Tunite electronique 19, mais declenchant celle-ci, par 
exemple provoquee par I'actionnement de la cle de contact, le bouclage de la ceinture de 
sdcurit6 du conducteur ou le flechissement du siege du conducteur sous son poids. 

Lorsque la presence du conducteur a ete rev&ee et le drapeau «1» de presence 

25 genere, la premiere phase de traitement du signal vid&> peut commences Elle consiste, 
comme indique prec&iemment, a cadrer le visage du conducteur dans le signal video en 
fliminant les portions superflues, en haut, en bas, a droite et a gauche de la tete dans 
Timage pergue par le detecteur 10. 

A cet effet, par mise en ceuvre du procede et du dispositif selon I'invention, ce sont 

30 les deplacements horizontaux, c'est-a-dire de la droite vers la gauche et inversement, qui 
sont detectes, car la tSte d'un conducteur a tendance & se deplacer horizontalement plut6t 
que verticalement, c'est-a-dire de haut en bas et inversement. 
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On extrait, done, du flot des donnees representees dans les trames correspondantes 
successives du signal video, un signal de deplacement horizontal, en position, sens et even- 
tuellement vitesse, grace a la matrice roulante des valeurs de DP et CO, et on Panalyse par 
selection suivant deux axes de coordonnees privilegies, par exemple les axes classiques Ox 
5 et Oy des coordonnees cartesiennes, par mise en oeuvre des moyens de formation 
d'histogrammes des demandes de brevet precitees. 

La comptabilisation, en fin de trames, des pixels representatifs d'un deplacement 
horizontal permet de detecter des pics de deplacement le long des bords du visage, pour 
lesquels les variations de luminosite, done de valeur de pixel, sont les plus importantes, 
10 aussi bien en projection horizontale suivant Ox qu'en projection verticale suivant Oy par 
exemple. 

Ceci est illustre sur la figure 7 sur laquelle on a represents les axes Ox et Oy, ainsi 
que les histogrammes 24x, suivant Ox, et 24y, suivant Oy, e'est-a-dire en projection 
horizontale et verticale respectivement 

15 Les pics 25a et 256, de Phistogramme 24x, et 25c et 25c/, de l'histogramme 24y, 

delimitent, par leur coordonnes respectives 26a, 266, 26c, 26d, un cadre limite par les 
droites Ya, Yb, Xc, Xd qui renferme le visage Kdu conducteur entoure par les ondulations 
respectives 27a, 276, 27c, 27rfqui illustrent les legers mouvements du conducteur dans les 
zones de plus grande variation des intensites des pixels, lors de ses mouvements. 

20 Le reperage des coordonnees 26a, 266, 26c et 26rf, correspondant aux quatre pics 

25a, 256, 25c et 25rf des deux histogrammes 24x et 24y, permet done de mieux definir et 
cadrer remplacement du visage Fdu conducteur dans la zone Z et d'61iminer, pour la suite 
du traitement du signal video, les portions superieure, inferieure, de droite et de gauche par 
rapport au cadre Xc, Xd, Ya, Yb, comme illustre sur la figure 8 par des zones hachurees 

25 encadrant le visage V, ce qui permet d'accroitre la precision, et eventuellement la cadence, 
de Panalyse portant sur la zone centrale Z, non hachuree, encadree par les droites Xc, Xd, 
Ya, Yb et contenant le visage V. 

Cette operation de cadrage du visage entier est renouvelee a intervalles reguliers, 
par exemple toutes les dix trames du signal video, et les valeurs moyennes (au cours du 

30 temps) des coordonnees 26a, 266, 26c, 26d 7 sont d&ermin&s, en redSfinissant le cadre, 
tegerement variable, mais relativement stable, Xc, Xd, Ya, Yb autour du visage F. On 
constate done que la position dudit cadre (avec la zone limitee pour Panalyse ulterieure) est 
tres robuste, e'est-a-dire stable au cours du temps. 
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Un nouveau drapeau «1» de visage cadre est produit apres Stablissement du cadrage 
du visage Fdu conducteur. 

La production de ce drapeau declenche la deuxieme phase, qui consiste a reduire 
encore plus le cadre du traitement, a savoir a celui des yeux du conducteur. 

5 Cette deuxieme phase comporte, de preference, une operation preliminaire 

consistant a utiliser, dans Punite electronique 19, le rapport anthropometrique habituel 
entre la zone des yeux et Pensemble du visage chez un etre humain, notamment dans le 
sens vertical, la zone des yeux occupant seulement une portion limitfe du visage entier. 

L'unite electronique 19 determine alors, dans cette operation preliminaire, par ratio 

10 un cadre Z' plus limite, incluant les yeux U du conducteur, dans le cadre precedent Z du 
visage V, limite par Ya, Yb, Xc, Xd, ce cadre Z'etant, comme illustre sur la figure 9 defini 
par les droites Y'a, Yt, X'c el X'd h Pinterieur du cadre Ya, Yb 9 Xc,Xd (zone Z). 

On elimine ainsi les zones hachurees externes (simples hachures) sur la figure 9 
pour ne conserver que le cadre Z\ ce qui facilite le cadrage defmitif des yeux dans la 

1 5 deuxieme phase et augmente sa precision et la vitesse de sa determination. 

Apres la fin de cette operation preliminaire si elle existe, ce qui genere un drapeau 
«1» de cadrage grassier des yeux, ou directement apres la premiere phase de traitement, 
c'est-a-dire respectivement en reponse a P apparition du drapeau «1» de cadrage grassier 
des yeux ou du drapeau «1» de visage cadre respectivement, Punit£ electronique 19 

20 efFectue la deuxieme phase de cadrage effectif plus serr6 des yeux du conducteur en 
detectant, dans la matrice des DP et CO, les emplacements de pixels pour lesquels DP = 1 
et CO presente une valeur 61evee, notamment pour des deplacements dans le sens vertical 
du fait que les paupieres clignent de haut en bas et inversement. 

Lorsque le nombre de tels emplacements de pixels atteint un certain seuil dans le 

25 cadre Y'a, Y% X'c, X'd (zone Z) dans le cas ou I'opSration preliminaire est prevue ou dans 
le cadre Ya, Yb, Xc y Xd (zone Z) en Tabsence d'une telle operation preliminaire, ce seuil 
&ant par exemple de 20 % par rapport au nombre total de pixels dans le cadre Y far, Yb 9 X'c, 
X'd dans le premier cas et de 10 % par rapport au nombre total de pixels dans le cadre Ya, 
Yb, Xc, Xd dans le second cas, un drapeau «1» de cadrage fin des yeux est g&iert ; ce 

30 drapeau indique en fait que les paupteres du conducteur sont actives, car il est provoqu6 
par les clignements des yeux du conducteur ; mouvements dans le sens vertical rep&6s de 
la meme maniere que les deplacements horizontaux du visage du conducteur dans la 
premiere phase. 
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Sur la figure 10 on a illustre le cadre eventuel Y'a, Y%, X'c, X'd, definissent la zone 
Z'de cadrage grossier des yeux du conducteur, ainsi que les histogrammes 28x selon l'axe 
Ox et 28y suivant l'axe Oy des deplacements verticaux des paupieres du conducteur, c'est- 
a-dire des pixels de la matrice revelant, par leur DP et leur CO, de tels deplacements. Ces 

5 histogrammes 28x et 2Zy, qui correspondent aux histogrammes 24x et 24y des 
deplacements horizontaux du visage du conducteur, illustr6s sur la figure 7, determinent, 
par lews pics 29a, 294, 29c, 29d, des droites horizontals X"c et X"d et des droites 
verticales Y"a et Y"b definissant, a l'interieur de la zone Z', une zone Z" qui encadre les 
yeux du conducteur dont les deplacements des bords sont indiques en 30a et 30i pour un 

1 0 oeil et 30e et 30a* pour 1' autre ceil. 

La position du cadre Y"a, Y"b, X"c, X"d est reactualisee par determination des 
valeurs moyennes au cours du temps, par exemple toutes les dix trames, des coordonnees 
des pics 29a, 29*, 29c, 29a* et, a partir de la production du drapeau «1» de cadrage fin des 
yeux, ce sont seulement les pixels compris dans le cadre limite de la zone Z" qui sont 

1 5 traites dans la troisieme phase declenchee par ce drapeau (la zone Z" etant figuree en Wane 
sur la figure 9). 

Dans cette troisieme phase sont determinees les durees des clignements des yeux, et 
eventuellement les intervaUes de temps separant deux clignements successifs, en perfec- 
tionnant l'analyse des deplacements verticaux des paupieres dans la zone Z" par traitement 

20 dans l'unite 61ectronique 19 des portions des trames successives du signal video corres- 
pondant a cette zone Z ", ce qui permet une grande precision. 

Sur la figure 11 on a illustre dans un systeme de coordonnees suivant trois 
directions orthogonales entre eUes, a savoir OQ sur laquelle on a porte CO, e'est-a-dire les 
intenshes de la variation de la valeur de pixel, correspondant au mouvement vertical des 

25 paupieres, Ot sur laquelle on a porte les intervaUes de temps entre deux clignements 
successifs et Oz sur laquelle on a porte les durees des clignements, done trois parametres 
differents permettant de determiner le passage de Tetat eveille a l'etat endormi du 
conducteur. Deux clignements successifs C t et C 2 sont representes sur la figure 11. 

La figure 12 illustre par la courbe C, sur la portion (a), la variation, dans le temps 

30 suivant Ot du nombre de pixels par trame en mouvement vertical significatif (pour lesquels 
DP - 1 et CO a une valeur relativement importante), les pics successifs Pi, P2, P3 du 
nombre de pixels en mouvement correspondant a des clignements. 
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Les trames correspondantes successives relatives a la courbe C sont representees, 
schematiquement et en partie, sur la portion (b) de la figure 12, par des traits verticaux, tels 
que 31, dont les pics P if P 2 , P3 sont encadres par des rectangles R tt R 2t R 3 respectivement, 
les deux portions (a) et (b) de la figure 12 etant disposees, Tune sous 1'autre, en 

5 synchronisme temporel. Sur cette figure 12 on a represente enfin les dur&s des 
clignements (5,6,5) et les intervalles de temps (14, 17) entre clignements successifs, en 
nombre de trames, valeurs qui correspondent a l'etat eveille du conducteur. 

L'unite eiectronique 19, dans cette troisieme phase, calcule les durees successives 
des clignements des yeux et les intervalles de temps successifs entre deux clignements 

10 consecutifs et fait une analyse statistique bi-dimensionnelle entre les durees successives 
des clignements et les intervalles entre clignements. Elle etablit si les durees des 
clignements depassent un certain seuil, par exemple 350 ms, et dans ce cas declenchent un 
drapeau «1» de seuil de clignement depasse et eventuellement si les intervalles de temps 
entre deux clignements successifs sont relativement constants ou au contraire 

15 significativement variables dans le temps, et dans le second cas declenchent un drapeau 
«1» d'intervalles entre clignements variables. 

Le premier drapeau sert a declencher une alarme, sonore par exemple, apte a 
reveiller le conducteur, tandis que le second drapeau renforce Talarme, par exemple en 
augmentant le niveau sonore. 

20 L'ordinogramme annexe a titre de planche 6 (figure 13) resume les differentes 

phases successives. 

Le dialogue avec Fexterieur est realise, de preference en mode serie (CAN - VAN). 

L' ensemble du capteur, de Telectronique associee et du processeur ou calculateur 
peut-etre avantageusement integre dans une puce electronique (chip) logee dans le 
25 retroviseur interne du vehicule. 

Le retroviseur des figures 4 et 5 convient aussi bien pour un conducteur occupant le 
siege gauche que le stege droit, pour les pays a conduite a droite, et peut eventuellement 
etre un retroviseur exterieur, notamment du cote du conducteur. 

II est particulierement interessant d'utiliser un capteur de type MOS, qui permet 
30 une determination de ia valeur de pixel, position par position de pixel, sans etre oblige 
comme dans le cas d'un capteur CCD d'extraire les valeurs de pixels ligne par lignes et 
position par position dans chaque ligne. 
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Comme represents sur la figure 14, il est alors possible de realiser une selection 
variable des positions de pixels : au lieu (a) d'examiner toutes les positions pp de pixels sur 
la totalite de 1'image (grand nombre de traitements), on peut (b) examiner seulement 
certains pixels mailles PP formant un reseau regulier representant la globalite de Pimage 
du visage du conducteur et son environnement immediat (effet de zoom) ; enfin on peut (c) 
s&ectionner une zone particuliere ZP, a savoir celle des yeux en traitant seulement les 
pixels de cette zone.(puissance de traitement constante) 

Sur la figure 15, qui est une variante de la figure 9, dont elle reprend les references, 
on a prevu de selectionner pour la phase finale de surveillance du conducteur, non 
seulement la region des yeux (comme le cas de la figure 9), mais egalement des narines n 
du nez N, Pobservation des deplacements du contour ou taches sombres des narines 
permettent d'ameliorer le maintien de la zone d'observation incluant les yeux. 

Comme il va de soi, 1'invention n'est pas limitee au mode de realisation prSferS 
d&rit et illustre, ni a ses variantes mentionnees ci-dessus ; 1'invention englobe au contraire 
les modifications, variantes et perfectionnement entrant dans le cadre des definitions de 
Tinvention donnees dans le preambule et les revendications jointes. 
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REVINDICATIONS 

1. Proc£de pour surveiller en continu I'&at de vigilance du conducteur d'un vehicule 
automobile, afin de detecter et prevenir une tendance 6ventueile a rendormissement de 
5 celui-ci, 

qui consiste 

- k produire un signal video representation temps r6el, des images successives d'au 
moins le visage du conducteur ; 

- a trailer ce signal, successivement et en continu, pour 

10 • detecter, dans ce signal, la portion correspondant effectivement & 1'image de 

la tete du conducteur, 

• determiner la valeur d'un param&re relatif au clignement des paupieres, qui 
se modifie notablement lors du passage de l'&at eveille a l'etat somnolent du 
conducteur de part et d'autre d'un seuil, et 

15 • reperer, en temps reel, le franchissement, par la valeur de ce parametre, de ce 

seuil representatif du passage de l'etat dveille a l'etat somnolent du 
conducteur ; et 

- a declencher, en reponse au franchissement de ce seuil, une alarme apte a reveilier 
le conducteur ; 

20 et qui est caracterise en ce que 

- d'une part, le signal video est produit en utilisant un capteur optoelectronique 
solidaire d'un retroviseur du vehicule automobile, dimension^ et dispose pour 
recevoir essentiellement Timage du visage du conducteur en place sur son siege et 
ayant son axe optique de reception des rayons lumineux dirigd vers la tete du 

25 conducteur lorsque le retroviseur est correctement orient^ ; et 

- d'autre part, le traitement dudit signal video consiste, apres avoir detect^ la 
pr&ence du conducteur a sa place, a, successivement et en continu , 

• d&ecter, a partir d'une analyse des pixels en deplacement entre deux trames 
successives de meme nature dudit signal vidfo, les d^placements 

30 horizontaux du conducteur, afin de cadrer le visage de celui-ci dans les 

trames correspondantes successives du signal video, 
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• detecter, a partir d'une analyse des pixels en deplacement entre deux trames 
successives de meme nature dudit signal vid6o, les deplacements verticaux 
dans le visage, ainsi cadr£, du conducteur, afin de cadrer les yeux de celui-ci, 

• determiner, a partir d'une analyse des pixels en deplacement entre deux 
5 trames successives de meme nature dudit signal video, les durees successives 

des clignements des yeux, ainsi cadres, de celui-ci, ces durees constituant le 
dit parametre, 

• comparer ces durees successives des clignements, ainsi d&ermindes, a un 
seuil representatif du passage de l'etat eveille a l'etat somnolent du 

10 conducteur, et 

• declencher, lorsque les durees de clignement depassent vers le haut le dit 
seuil, une alarme apte reveiller le conducteur. 

2. Precede selon la revendication 1, caracterise en ce que ledit capteur est placd dans le 
boitier du retroviseur derriere la glace de celui-ci qui est constitute par un miroir sans 

15 tain, l'axe optique de reception (2a) dudit capteur 6tant syraetrique a un axe (2b) 
oriente dans le plan vertical median dudit vehicule, par rapport a un axe (6) orthogonal 
au dit miroir sans tain. 

3. Precede selon la revendication 1 ou 2, caracterise en ce qu'on d&ecte la presence du 
conducteur a sa place en determinant le nombre de pixels correspondants dans les 

20 trames successives de meme nature du signal video pour lesquels un deplacement 
significatif est d&ect6 et en comparant ce nombre au nombre total de pixels par trame 
du signal vid£o, afin de determiner si le rapport entre le nombre de pixels representant 
un deplacement et le nombre total de pixels par trame dSpasse un seuil representatif du 
passage de Tabsence de conducteur a sa place a la presence d'un conducteur a sa place. 

25 4. Precede selon la revendication 1, 2, ou 3 caracterise en ce qu'entre les phases de 
detection des deplacements horizontaux, afin de cadrer le visage du conducteur, et de 
detection des deplacements verticaux, afin de cadrer les yeux de celui-ci, on prdvoit 
une phase de cadrage large des yeux en se limitant a une portion du visage cadre 
englobant les yeux et leur environnement immediat, par application du rapport 

30 anthropometrique entre ladite portion et le visage entier d'une personne. 

5. Proc£d6 selon Tune quelconque des revendications precedentes, caracterise en ce, 
simultanement a la phase de determination des durees des clignements des yeux, on 
prevoit une phase de determination des intervalles de temps separant deux clignements 
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successifs de ceux-ci et on declenche une alarme renforcee des que ces intervalles de 
temps presentent une irregularite qui depasse un seuil determine. 

6. Procede selon Tune quelconque des revendications precedentes, caractfrise en ce qu'on 
reactualise en continu les donnees concernant au moins un des parametres suivants : 
deplacements horizontaux, deplacements verticaux, durees des clignements des yeux, 
intervalles entre clignements successifs, afin de perfectionner les approximations des 
valeurs normales de ces parametres pour le conducteur effectivement present et a l'etat 
eveiile. 

7. Procede selon Tune quelconque des revendications precedentes, caracterise en ce que 
les differentes phases successives du procede sont realisees au moyen de programmes 
informatiques successifs portant sur le traitement des valeurs successives des pixels 
correspondants des trames de meme nature du signal video obtenu a partir dudit 
capteur. 

8. Dispositif pour surveiller en continu Petat de vigilance du conducteur d'un vehicule 
automobile, afin de detecter et pr6venir une tendance eventuelle a rendormissement de 
celui-ci, qui met en ceuvre le procede selon Tune quelconque des revendications 1 k 7 
et qui est caracteris6 en ce qu'il comprend, en combinaison : 

a) un capteur optoelectronique (10), qui, en combinaison avec une electronique associee 
(19), elabore, en reponse a la reception de rayons lumineux, un signal video a trames de 
meme nature, ou correspondantes, successives, ledit capteur etant solidaire d'un 
retroviseur (8) du vehicule automobile et dimensionnd et dispose pour recevoir 
essentiellement Timage du visage du conducteur en place sur son siege et ayant son axe 
optique (10b) de reception des rayons lumineux dirige vers la tete (T) du conducteur 
lorsque le retroviseur est correctement oriente ; et 

b) au moins d'un circuit integre comportant 

- des moyens pour detecter la presence du conducteur a sa place dans le vehicule, et 
pour elaborer un signal de presence ; 

- des moyens, actives par ce signal de presence, pour detecter, a partir d'une analyse 
des pixels en deplacement entre deux trames successives de meme nature dudit 
signal video, les deplacements horizontaux de dit conducteur, afin de cadrer le 
visage (V) de celui-ci dans les trames successives de meme nature dudit signal 
video, et pour ^laborer un signal de fin de cadrage de visage ; 
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- des moyens, actives par ledit signal de fin de cadrage du visage, pour detecter, a 
partir d'une analyse des pixels en deplacement entre deux trames successives de 
meme nature de la portion des trames successives de meme nature dudit signal 
video correspondant au cadrage du visage, les d^placements verticaux dans le 

5 visage, ainsi cadr£, du conducteur, afin de cadrer les yeux (U) de celui-ci dans 

ladite portion des trames de ce signal, et pour elaborer un signal de fin de cadrage 
des yeux du conducteur ; 

- des moyens, actives par ledit signal de fin de cadrage des yeux, pour determiner, k 
partir d'une analyse des pixels en deplacement entre deux trames successives de 

10 meme nature de la portion des trames successives de meme nature dudit signal 

video correspondant au cadrage des yeux, les durees successives des clignements 
des yeux du conducteur ; 

- des moyens pour comparer ces durees successives des clignements, ainsi 
determinees, a un seuil representatif du passage de l'etat eveille a l'etat somnolent 

15 du conducteur ; et 

- des moyens pour ddclencher, lorsque les durees des clignements dSpassent ledit 
seuil, une alarme (22) apte a reveiller le conducteur. 

9. Dispositif selon la revendication 8, caracterise en ce que ledit capteur (10) est plac6 
dans le boitier du retroviseur (8) derriere le miroir de celui-ci, qui est un miroir (9) sans 

20 tain, ledit capteur (10) &ant porte par une premiere extremity d'une premiere tige (13) 
traversant, a travers une rotule (17), un etrier (16) porte par le boitier du r&roviseur (8), 
i l'intdrieur de celui-ci, la seconde extremite de cette tige (13) etant articutee librement, 
au moyen d'un joint (14a,14b), a la premiere extremite d'une seconde tige (12) 
traversant, a travers une rotule (15), le boitier du retroviseur (8), tandis que la seconde 

25 extremite de ladite seconde tige (12) est fix6e a la carrosserie du vehicule (en 5) au 
dessus du pare-brise, de maniere que l'axe optique de reception (2a) du dit capteur soit 
symetrique a un axe (2b) oriente dans le plan vertical median dudit vehicule, par 
rapport a un axe orthogonal (6) au dit miroir sans tain. 

10. Dispositif selon la revendication 8 ou 9,caract&is6 en ce que lesdits moyens pour 
30 d6tecter la presence du conducteur a sa place et pour elaborer un signal de pr&ence 

sont constitues par des moyens pour determiner le nombre de pixels dans les trames 
successives de meme nature dudit signal video pour lesquels un ddplacement 
significatif est detecte, des moyens pour comparer ledit nombre au nombre total de 



WO 99/36894 PCT/FR99/00060 

26 

pixels par trame du signal video, afin de determiner si le rapport entre le nombre de 
pixels correspondant a un deplacement et le nombre total de pixels par trame dSpasse 
un seuil representatif du passage de Petat d'absence de conducteur a sa place k P&at de 
presence d'un conducteur k sa place. 

5 11. Dispositif selon la revendication 8, 9 ou 10, caracterise en ce qu'il comprend en outre 
des moyens, actives par ledit signal de fin de cadrage du visage, pour s&ectionner, dans 
ladite portion des trames successives dudit signal video correspondant au cadrage du 
visage, une portion rtduite correspondant a un cadrage large, ou grossier, des yeux du 
conducteur englobant les yeux et leur environnement immediat par application du 

10 rapport anthropometrique entre ledit cadrage large et le visage entier d'une personne et 
des moyens pour elaborer un signal de fin de cadrage large des yeux, ce signal activant 
lesdits moyens pour detecter les deplacements verticaux dans le visage du conducteur. 

12. Dispositif selon Tune quelconque des revendications 8 a 11, caracteris£ en ce qu'il 
comporte des moyens, fonctionnant en parallele avec lesdits moyens pour determiner 

15 les durees successives des clignements des yeux et done actives par ledit signal de fin 
de cadrage des yeux, pour determiner les intervalles de temps separant deux 
clignements successifs et pour declencher une alarme renforcee des que ces intervalles 
de temps presentent une irregularite qui depasse un seuil determine. 

13. Dispositif selon Tune quelconque des revendications 8 k 12, caracterise en ce qu'il 
20 comporte des moyens pour reactualiser en continu les donnees concernant au moins un 

des parametres suivants : deplacements horizontaux, deplacements verticaux, dur£es 
des clignements des yeux, intervalles entre clignements successifs, afin de 
perfectionner les approximations des valeurs normales du parametre impliqud pour le 
conducteur effectivement present et a Petat 6veilte. 
25 14. Dispositif selon Pune quelconque des revendications 8 k 13, caracterise en ce que ledit 
ensemble capteur opto-61ectronique(10) - unit6 electronique (19) produit un signal 
video comportant une succession de trames correspondantes de meme nature a 
succession de lignes constitutes par une succession de pixels et traite le dit signal video 
pour successivement : 

30 - d6duire, des variations de la valeur ou intensity de chaque pixel entre une trame et la 
trame correspondante anterieure, 
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• (Tune part, un signal binaire, note DP, dont Ies deux valeurs possibles sont 
representatives, Tune, d'une variation significative de la valeur du pixel et, Pautre, 
d'une non-variation significative de cette valeur, et 

• d'autre part, un signal numerique, no\6 CO, a nombre rdduit de valeurs possibles, ce 
5 signal etant representatif de la grandeur de cette variation de la valeur du pixel ; 

- repartir suivant line matrice, par roulement, des valeurs de ces deux signaux DP et CO 
pourune meme trame qui defile a travers la matrice ; et 

- deduire, de cette repartition matricielle, le deplacement recherche et ses parametres de 
localisation et de direction. 

10 15. Dispositif selon Tune quelconque des revendications 8 a 14, caracterise en ce que ledit 
capteur (10), ladite electronique associee (19) et ledit circuit integre sont constituees 
par une puce electronique (chip) disposee a Pinterieur du boitier du retroviseur (8). 
16. Retroviseur de vehicule automobile, caracterise en ce que son miroir est constituS par 
une glace sans tain (9) et en ce qu'il comporte, derriere cette glace, un capteur opto- 

15 electronique (10) qui coopere avec une unite electronique (19), produit un signal video 
comportant une succession de trames correspondantes de meme nature a succession de 
lignes constitue par une succession de pixels et traite le dit signal video pour 
successivement : 

- deduire, des variations de la valeur ou intensity de chaque pixel entre une trame et la 
20 trame correspondante anterieure, 

• d'une part, un signal binaire, note DP, dont les deux valeurs possibles sont 
representatives, Tune, d'une variation significative de la valeur du pixel et, Pautre, 
d'une non-variation significative de cette valeur,et 

• d'autre part, un signal num&ique, noti CO, a nombre reduit de valeurs possibles, ce 
25 signal etant representatif de la grandeur de cette variation de la valeur du pixel ; 

- repartir suivant une matrice, par roulement, des valeurs de ces deux signaux DP et CO 
pour une meme trame qui d6file k travers la matrice ; 

- deduire, de cette repartition matricielle, le deplacement recherchd et ses parametres de 
localisation et de direction ; et 

30 - declencher un dispositif d'alarme (22) dfes que ladite unite determine que les 
mouvements verticaux des paupieres d'une personne regardant la face avant (9a) de 
ladite glace correspondent a une duree des clignements des yeux qui depasse un seuil 
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predetermine inclus dans Fintervalle temporel corapris entre la duree des clignements 
d'une personne eveillee et celle d'une personne qui somnole.. 

17. Retroviseur de vehicule automobile selon la revendication 16, caract6ris6 en ce que 
ledit capteur (10) ), ladite electronique associee (19) et ledit circuit integrS sont 
constitutes par une puce Electronique (chip) disposee a l'interieur du boitier du 
retroviseur (8). 

18. Retroviseur de vehicule automobile selon la revendication 16 ou 17, caract&ise en ce 
qu'il porte en outre au moins une diode (20) electroluminescente au moins dans Pinfra- 
rouge qui est activ6e au moins lorsque la luminosite ambiante devient insuffisante pour 
eclairer le visage du conducteur et en ce que ledit capteur optoelectronique (10) est 
sensible entre autres, aux radiations infra-rouges emises par ladite diode. 
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Fig. 10 
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Fig. 12 
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